Introdução à Modelagem Generativa: Avançando Além da Discriminação

Estamos nos movendo de modelagem discriminativa, que resolve tarefas de classificação e regressão aprendendo a probabilidade condicional $P(y|x)$, para o domínio sofisticado de modelagem generativa. Nossa meta central agora muda para estimação de densidade: aprender a distribuição de dados subjacente completa $P(x)$ em si. Essa mudança fundamental nos permite capturar as dependências intrincadas e a estrutura complexa em conjuntos de dados de alta dimensão, indo além da simples separação de fronteiras para uma verdadeira compreensão e síntese de dados.

1. O Objetivo Generativo: Modelar $P(x)$

O objetivo de um modelo generativo é estimar a distribuição de probabilidade $P(x)$ a partir da qual os dados de treinamento $X$ se originaram. Um modelo generativo bem-sucedido pode realizar três tarefas cruciais: (1) Estimação de Densidade (atribuir uma pontuação de probabilidade a uma entrada $x$), (2) Amostragem (gerar pontos de dados completamente novos $x_{new} \sim P(x)$), e (3) Aprendizado Não Supervisionado de Características (descobrir representações significativas e desemaranhadas em um espaço latente).

2. Taxonomia: Probabilidade Explícita vs. Implícita

Os modelos generativos são fundamentalmente categorizados por sua abordagem à função de verossimilhança. Modelos de Densidade Explícita, como Autoencoders Variacionais (VAEs) e Modelos de Fluxo, definem uma função matemática de verossimilhança e tentam maximizá-la (ou seu limite inferior). Modelos de Densidade Implícita, mais famosamente Redes Adversariais Generativas (GANs), ignorando completamente o cálculo da verossimilhança, aprendendo, ao invés disso, uma função de mapeamento para gerar amostras da distribuição $P(x)$ usando um quadro de treinamento adversarial.

Data Synthesis and Feature Interpolation

Generative models demonstrate their capability by generating novel, high-fidelity instances (e.g., unseen faces, complex textures) or by allowing semantic interpolation in the learned latent space, illustrating the model's grasp of data variability.

Examples of AI-generated faces and interpolated features.

Question 1

In generative modeling, what is the primary distribution of interest?

$P(x)$

$P(y|x)$

$P(x|y)$

$P(y)$

Question 2

Which type of generative model relies on adversarial training and avoids defining an explicit likelihood function?

Variational Autoencoder (VAE)

Autoregressive Model

Generative Adversarial Network (GAN)

Gaussian Mixture Model (GMM)

Challenge: Anomaly Detection

Leveraging Density Estimation

A financial institution has trained an explicit density generative model $G$ on millions of legitimate transaction records. A new transaction $x_{new}$ arrives.

Goal: Determine if $x_{new}$ is an anomaly (fraud).

Step 1

Based on the density estimate of $P(x)$, what statistical measure must be evaluated for $x_{new}$ to flag it as anomalous?

Solution:
The model must evaluate the probability (or likelihood) $P(x_{new})$. If $P(x_{new})$ falls below a predefined threshold $\tau$, meaning the new point is statistically improbable under the learned distribution of normal transactions, it is flagged as an anomaly.